Большая советская энциклопедия - сообщение
Сообщение
сообщение
Сообщение в теории информации, всякий носитель информации. При этом теория информации интересуется лишь количественной стороной информации, содержащейся в С. Понятие С. в теории информации имеет существенно вероятностный характер: каждый источник информации (или источник С.) задается перечислением возможных С. и соответствующих им вероятностей. Пусть x1, х2,..., xn — возможные С., a p1, p2,..., pn — соответствующие вероятности. Тогда количество информации в С. xi принимают равным . Среднее количество информации в С. данного источника (его энтропия), т. е. сумма является важнейшей характеристикой источника. Именно величина энтропии определяет возможности передачи и хранения С., производимых источником. Пример. Пусть источником С. являются результаты N последовательных измерений с точностью до 0,1 некоторой физической величины, равномерно распределенной в интервале от нуля до единицы. Тогда, если указывать только число десятых (с недостатком), возможными результатами отдельного измерения будут числа 0,1....,9. Вероятность появления каждого из них равна 0,1. С. в данном примере представляются N-членными последовательностями цифр. Вероятность каждого С. равна (0,1) N. Количество информации в каждом С. и энтропия источника равны Nlog2 10 = 3,32N двоичных единиц. Можно сказать, что источником С. в этом примере является случайная последовательность десятичных знаков (цифр) длины N. Именно такую форму случайных последовательностей знаков (или более общим образом — форму случайных процессов) имеют источники С.. рассматриваемые в теории информации. При изучении конкретных типов С., таких, как письменная речь, телеграфные, телефонные или телевизионные сигналы, обычно строится та или иная приближенная вероятностная модель источника С. Так, с достаточной для целей теории информации точностью в качестве модели русской письменной речи может быть принята т. н. сложная цепь Маркова. Для непрерывных С. в качестве моделей используются стационарные случайные процессы. Построение подобных моделей опирается на обширные статистические данные, касающиеся рассматриваемых процессов. Ю. В. Прохоров.
Рейтинг статьи:
Комментарии:
Вопрос-ответ:
Похожие слова
Ссылка для сайта или блога:
Ссылка для форума (bb-код):
Самые популярные термины
1 | 4919 | |
2 | 3034 | |
3 | 3003 | |
4 | 2834 | |
5 | 2827 | |
6 | 2794 | |
7 | 2729 | |
8 | 2716 | |
9 | 2601 | |
10 | 2528 | |
11 | 2348 | |
12 | 2219 | |
13 | 2182 | |
14 | 2177 | |
15 | 2152 | |
16 | 2066 | |
17 | 2057 | |
18 | 2044 | |
19 | 2029 | |
20 | 1986 |